Hijo de Johann Christoph Krebs Heichelheim, asistió a los Gimnasios en la cercana Weimar. No se sabe nada sobre su formación musical temprana, pero a los 20 años Krebs era lo suficientemente competente en el teclado como para ser invitado a convertirse en kantor y organista en Buttelstedt, otra ciudad en la misma área. Krebs aceptó, pero continuó sus estudios musicales en Weimar, viajando allí dos veces por semana para estudiar con Johann Gottfried Walther, y más tarde con Johann Sebastian Bach. En 1721 fue aceptado para un puesto en Buttstädt, donde tocó el órgano de Michaeliskirche y enseñó en la escuela. Krebs permaneció en Buttstädt por el resto de su vida. Enseñó órgano, armonía, teoría y contrapunto.

Edición discográfica con una obra de Johann Tobias Krebs

De los tres hijos de Krebs, el más importante fue Johann Ludwig Krebs ( 1713 -1780), un renombrado intérprete y prolífico compositor. Otro hijo fue Johann Tobias Krebs, Jr. ( 1716 -1782), nacido en Buttelstedt. De 1729 a 1740 estuvo en la Thomasschule, y de 1739 a 1742 estudió en la Universidad de Leipzig . En 1746 fue nombrado subdirector del liceo de Chemnitz. Luego se trasladó a Grimma, donde en 1751 fue nombrado subdirector y en 1763 director. Permaneció en Grimma hasta su muerte. En 1729, tras la audición de Krebs en la Thomasschule de Leipzig, J. S. Bach consideró que el niño de 13 años tenía ‘una buena voz fuerte y una gran competencia’. El hijo menor fue Johann Carl Krebs (1724-1759), nacido en Buttstädt. Entre 1740 y 1747 estuvo en la Thomasschule y en 1750 fue nombrado director de la escuela del pueblo de Buttstädt, donde permaneció hasta su muerte. Cuando, en la década de 1750, su padre quedó ciego, Johann Carl lo ayudó ccon sus deberes como organista en Buttstädt.

Las obras supervivientes de Krebs son escasas. Algunos preludios corales conservados en manuscritos muestran una marcada predilección por el contrapunto. Dos de las piezas menos conocidas del catálogo de Bach-Werke-Verzeichnis pueden haber sido compuestas por Krebs. Hoy es mejor recordado como el padre de Johann Ludwig Krebs, uno de los alumnos más destacados de Johann Sebastián Bach.